\chapter{绪论}
\label{chap:Intro}

\section{课题研究背景及意义}

逼真的图像是计算机图形学的永恒追求，真实感图像已在科研教育、指挥控制、娱乐广告等领域发挥重要作用。科研教育方面，真实
感图像在分子建模等领域应用广泛；娱乐产业中，实时光照渲染提供了绚丽逼真的场景效果；指挥控制方面，飞行模拟器等模拟与决
策系统对真实感图像有着极高的需求。产生真实感图像具有重要意义。

随着虚拟现实技术与计算机产业的发展，对产生真实感图像提出了更高的要求。一方面它要求更为逼真的自然场景以增加真实感，另
一方面，在飞行仿真、游戏软件和战场模拟等诸多交互系统中，对实时交互提出了更高的要求。因此，如何在保证高画面质量的同时，
提高自然场景的渲染速度，成为产生真实感图像的关键。

基于几何模型的渲染方法是传统图形学的经典渲染方法。它使用基本几何图元来描述场景，通过传统光照模型来描述光源分布与物体
材质特性，根据渲染方程的计算产生虚拟的图像。从基于几何模型的渲染方法角度来看，场景由光源、物体材质和物体形状组成。渲
染过程就是根据渲染方程来刻画光源、材质、形状和视点之间的相互关系，进而生成虚拟图形，以期达到真实感效果。其中，一般使
用辐射度来描述光源分布，由双向反射分布函数（BRDF）来表达物体材质，由视点来记录相机的有关信息。

基于几何模型的渲染方法有很多优点。首先，基于几何模型的渲染方法有统一的理论框架，对于给定的任意几何模型和视点，均可输
出正确的图像。其次，由于数据均为必要数据，没有冗余数据，该模型占用存储空间较小。最后，对于复杂场景也有着较好的显示效
果。只要确定每一时刻的几何模型描述，便可显示任意时刻的动态场景。

但是，基于几何模型的方法也面临着诸多问题。首先，几何模型的构造过程繁琐复杂，需要大量人力参与。虽然计算机辅助设计使得
建模尽可能简单，但对于复杂场景，构造几何模型仍然艰苦且繁重。其次，随着场景复杂度提高，显示速度逐渐降低。基于几何模型
的渲染方法的显示速度与模型复杂度相关，模型与场景越复杂，显示速度越低。若要做到实时显示，便需降低模型复杂度，但图像的
真实感质量便会随之下降。而且视点在简单与复杂场景之间切换时，会引起明显的视觉跳跃感。最后，由于面片裁减等工作均需硬件
支持，基于几何模型的方法在低档机器的应用上受到限制。

针对基于几何模型的渲染方法的问题，一种全新的的绘制方法，即基于图像的绘制方法\citep{lippmanapplication,miller1992virtual}
被提出，且得到了越来越广泛的重视和深入的研究。不同于基于几何模型的渲染方法，基于图像的渲染方法中无需光源分布，无需几
何模型，也无需双向反射系数（BRDF）,其场景由光线组成。拍摄图像是采集光线的手段，而渲染即光线的重组过程。

随着基于图像的渲染技术的成熟与应用，基于图像的光照研究（Image Based Lighting，IBL）被进一步提出。基于图像的渲染技
术只能处理静态场景，而基于图像的光照认为场景中光源属性、物体材质等任何可能的变化都可以看成场景中光照条件的变化。因此，
从某些特定时刻采集静态图像，生成场景变化后的渲染结果，便是基于图像的光照研究的内容。基于图像的光照能够在保证渲染速度
的同时，生成高质量的图像，这对于虚拟现实技术与计算机产业的发展有着重要意义。

\section{国内外研究现状}

在照片中添加新物体的做法可以追溯到摄影早期，可以简单实现将一个照片的一部分粘贴到另一个照片上。这种技术表达了在场景中
放置新物体的概念，但不能合成一个可信的真实感图像。如果要合成真实感图像，要求两个图像的诸多方面相匹配。首先，相机的投
影要求一致，否则物体可能相比于图像的其他部分，显示上导致缩短或倾斜效果。其次，该物体的光照需与环境中的其他对象保持一
致。最后，该物体需要在场景中投射真实的阴影和反射。综合考虑这些方面，便可以合成令人信服的静态图像。

在早期电影制作中，通过使用物体遮挡来防止特定部分被曝光，这使得移动图像的合成成为可能。然而，随着电影的动态特性对真实
性需求的增加，相机位置和光照的匹配变得更加重要。因此，需要精心调整光照，使得物体能够适应现有场景。但是阴影效果仍然不
能实现，只能由美工人员逐帧绘制阴影效果\citep{azarmi1973optical,fielding1965technique,smith1986industrial}。

全局照明\citep{goral1984modeling,kajiya1986rendering,veach1997metropolis,ward1994radiance}的发展，尤其是间接
照明中镜面反射和漫反射等算法的进步，使得在合成场景中真实地模拟光照，创造真实的渲染成为了可能。

关于将物体合成至图像中这一问题，已经有了很多的研究。\citet{nakamae1986montage}提出了一种利用太阳位置与局部环境光近
似值，将建筑渲染为背景图像的方法。该方法对于漫反射场景中的漫反射材质建筑来说效果良好。反射映射（又称环境映射）\citep{Blinn1973Texture,1988Survey}
技术为镜像物体渲染出真实的效果。在反射映射中，首先从物体的位置渲染全景图像，然后通过反射来自视点的光线，使用表面法线
来索引全景图像，以此实现闪亮物体对周围环境的正确反射。但是该技术仅局限于镜面反射，不能解决物体在环境中投射光或阴影的
问题。

使得合成物体在现有环境上投射阴影的常用视觉效果技术是创建物体局部环境的近似几何模型，然后从各个光源处计算阴影。这种技
术可以产生极好的效果，但需要专业的人员设计，并且需要了解每个场景的光源的位置、大小、形状、颜色和强度。此外，该技术无
法解决场景中的漫反射问题，必须特别处理物体反射到场景中的光。

为了正确的模拟物体与局部场景间的光的相互作用，一些研究\citep{1992Common,1997Interactive}将合成问题做为全局光照计
算来解决。一种常见的技术是手动测量光源的位置，并为每个真实光实例化一个相同颜色和强度的虚拟光，以照亮合成物体。另一种
技术是在要渲染新对象的场景中拍摄参照对象，并将其外观作为手动配置照明环境的定性指南。但这些技术均是劳动密集型的，需要
大量的人工细化，而且效果也不尽如人意。

基于高动态范围图像（HDR）\citep{1997Recovering}，\citet{2002Image}提出了一种利用测量的场景辐射度和全局光照，以正确的光
照向场景中添加合成对象的方法，即基于图像的光照。Debevec将IBL分为4个步骤：
\begin{enumerate}
    \item 获取场景的HDR光照图像；
    \item 映射HDR光照图像至虚拟场景，模拟场景光源；
    \item 放置合成物体至场景中；
    \item 计算HDR光照图像的光源信息，照亮场景及合成物体。
\end{enumerate}

\citet{1999Realistic}描述了IBL的实时使用，即通过根据表面法线或反射方向查找预计算的值来预先计算漫反射和光泽材料的照明
积分，从而有效地渲染这些材料。 \citet{MD2000Approximation}通过将它们的反射率特性近似化为来自多个方向的光泽反射的线性
组合，来模拟更复杂的材料类型。这些技术构成了许多实时IBL应用程序的核心。\citet{Ramamoorthi2001Representation}描述了
一种有效的方法来表示漫反射辐射图。它们表明，使用球面谐波只需用很少的系数来表示漫反射材料的预计算的照明积分。\citet{2005Real}
展示了这些系数，可以使用专用的图形处理器实时计算，从而能够在没有预计算的情况下实时地计算漫反射材料的IBL。

随着图形硬件的改进，一种计算材料照明的替代方法变得更加有效，即从环境图像上的多个点直接采样来近似照明积分。出于实时性能的
要求，需要使用重要性采样技术（如\citep{2008Bidirectional}），以便以最小的样本数获得最准确的结果。

\section{本文主要工作}

传统的IBL技术使用预计算辐照度贴图的方法计算漫反射光照，高效快速。但由于镜面反射光照的复杂性，传统的IBL技术无法应用预计算等方式
有效快速的处理，导致传统IBL技术渲染时间较多，只能多用于离线渲染。本文在传统的IBL工作基础之上，改进了间接光照中镜面反射的计算，
提高了渲染质量，极大的提升了渲染效率，达到了实时渲染的要求。概括起来，本文的研究成果如下：

\begin{enumerate}
    \item 使用分割求和近似方法，拆解了镜面反射的积分计算，实现了预计算处理镜面反射光照与BRDF部分。
    \item 使用GGX重要性采样技术处理镜面反射光照的卷积运算，加快了收敛速度。
\end{enumerate}



\section{本文组织结构}
全文共分四章，对基于图像的光照技术及其相关技术进行研究与讨论。具体章节安排如下：

第一章，介绍本文的研究背景与实际意义。简单介绍了现如今对真实感图像与实时渲染速度的双重迫切要求，目前国内外对基于图像的光
照技术的研究现状，并指出了本文的研究内容与章节安排。

第二章，介绍要用到的图形学方面的相关技术。对本文所要实现的基于图像的光照技术依赖的渲染理论进行说明和阐述，包括基于物理的渲染
理论等。

第三章，介绍本文的算法实现。详细阐述本文设计的基于图像的光照技术的具体实现过程，包括问题来源、算法基本思想、算法流程与算法核
心细节等。

第四章，介绍本文实验结果与分析。针对本文算法的最终效果，进行测试与对比，验证本文算法的合理性与应用价值。
